Un analizzatore lessicale, a volte chiamato scanner o lexer, è un programma, o una parte di un programma (vedi compilatori e parser), che si occupa di analizzare lessicalmente un dato input, genericamente il codice sorgente di un programma.
Quindi il compito di un analizzatore lessicale è di analizzare uno stream di caratteri in input e produrre in uscita uno stream di token.
Il token è un elemento che ha un nome, il token name, e un valore, tipicamente il lessema ma può trattarsi anche di un insieme di informazioni elementari come il tipo del numero o il punto del programma in cui è definito. I token costituiscono gli elementi base su cui andrà ad operare un analizzatore sintattico.
L'individuazione di token all'interno di uno stream di caratteri è effettuata attraverso pattern (schemi, modelli).